package com.dongline.te

import javafx.application.Application
import javafx.stage.Stage
import org.apache.spark.{SparkConf, SparkContext}
/*
user.txt内容

1,1sdfsd,1
1,1sdfsd,1
1,1sdfsd,1
2,1sdfsd,1
2,1sdfsd,1

执行结果：
ArrayBuffer(((1,1sdfsd),3), ((2,1sdfsd),2))21/03/18 11:25:16


统计同一个手机号在同一个基站访问的次数
 */
class Jizhan extends  Application{
  override def start(primaryStage: Stage): Unit = {
    //创建sc对象
    val conf:SparkConf=new SparkConf().setMaster("local").setAppName("jizhantongji")
    conf.set("spark.testing.memory", "471859200")
    val sc : SparkContext=new SparkContext(conf)
    //读取文件中的基站数据， （手机号，基站，信息）
    val rdd1=sc.textFile("D://user.txt").map(_.split(","))
    val rdd2=rdd1.map(x => ((x(0),x(1)),(x(2)))).groupBy(x => x._1).map(x => (x._1,x._2.size))
    print(rdd2.collect.toBuffer)
    sc.stop()

  }
}
